ABSTRACT Purpose to demonstrate the validity of content and the validity of response processes of an instrument intended for the phonological assessment of children. Methods validation was carried out in two stages by two different groups of judges, a group of specialists and a group of non-specialists. The first group, composed of three expert judges, evaluated the 123 lexical items after creating the instrument, judging the applicability of the figures in the context of child assessment, and suggesting adjustments to compose the content. From the observations, the instrument was adapted and directed to the group of non-specialist judges who, through the application of the instrument, had their responses evaluated according to the ease or difficulty of eliciting the instrument's items. Results The predictions obtained positive results for content validity and response processes. Conclusion the study allowed to improve the test items more judiciously, benefiting clinical and scientific use.

RESUMO Objetivo evidenciar validade de conteúdo e validade de processos de resposta de um instrumento destinado à avaliação fonológica de crianças. Método validade realizada em duas etapas por dois diferentes grupos de juízes, grupo de especialistas e grupo de não-especialistas. O primeiro grupo composto por três juízes especialistas avaliaram os 123 itens lexicais após a elaboração do instrumento, julgando a aplicabilidade das figuras no contexto da avaliação infantil e sugerindo ajustes para compor o conteúdo. A partir das observações, o instrumento foi adequado e direcionado ao grupo de juízes não-especialistas que, por meio da aplicação do instrumento, tiveram suas respostas avaliadas conforme a facilidade ou dificuldade de elicitação dos itens do instrumento. Resultados As avaliações obtiveram resultados de teor positivo para as validades de conteúdo e de processos de resposta. Conclusão o estudo permitiu aprimorar os itens de teste de forma mais criteriosa, beneficiando o uso clínico e científico.

Abstract Purpose To present evidence of intra- and inter-rater reliability and internal consistency of the Phonological Assessment Instrument scores, so that it can be considered reliable and valid for use in clinical practice. Methods 179 audio recordings of the instrument's speech samples were analyzed. The collection was carried out from its application in the period of 5 months in children aged from five to eight years and 11 months. Three expert judges transcribed the speech production of each child into the software, which generated performance reports. The speech data of each child were compared between these evaluators, who were trained and experienced in phonetic transcription, to verify the agreement of the instrument scores. For the reliability analysis, the internal consistency was verified using Cronbach's Alpha and the intra and inter-rater reliability using the Intraclass Correlation Coefficient. Results The Phonological Assessment Instrument showed evidence of high internal consistency, with scores indicating excellent reliability for the assessment of Brazilian Portuguese phonemes, as well as adequate agreement among the judges regarding the instrument scores. Conclusion The instrument presented robust evidence of reliability, being a reliable and safe option to be used in Brazilian research and clinical practice to evaluate the phonological system of Brazilian children.

Resumo Objetivo Apresentar evidências de fidedignidade intra e interavaliadores, e de consistência interna, dos escores do Instrumento de Avaliação Fonológica, a fim de que possa ser considerado fidedigno e válido para a utilização na prática clínica. Método Foram analisados 179 áudios dos registros de fala do instrumento, cuja coleta foi realizada a partir da sua aplicação no período de 5 meses em crianças na faixa etária dos cinco aos oito anos e 11 meses. Três juízes especialistas transcreveram no software a produção de fala de cada criança, o qual gerou relatórios de desempenho. Os dados de fala de cada criança foram comparados entre esses avaliadores, treinados e experientes em transcrição fonética, para verificar a concordância dos escores do instrumento. Para a análise da fidedignidade, foi verificada a consistência interna pelo Alpha de Cronbach e a confiabilidade intra e interavaliadores por meio do Coeficiente de Correlação Intraclasse. Resultados O Instrumento de Avaliação Fonológica apresentou evidências de alta consistência interna, com escores indicando excelente fidedignidade para avaliação dos fonemas do Português Brasileiro, como também uma adequada concordância entre os juízes acerca dos escores do instrumento. Conclusão O instrumento apresentou evidências robustas de fidedignidade, sendo uma opção confiável e segura para ser utilizado em pesquisas brasileiras e na prática clínica para avaliar o sistema fonológico de crianças.

ABSTRACT Purpose To investigate evidence of construct validity for a Phonological Assessment Instrument for Brazilian Portuguese, based on the diagnostic data generated by its application from contrastive analysis and speech severity. Methods The sample consisted of 176 children, aged between five to nine years old. They were evaluated with the Phonological Assessment Instrument and then classified as having Speech Sound Disorder or in typical phonological development, comparing these results to the criteria described for the disorder in the DSM-5. The search for evidence of construct validity relied on the agreement between the two assessment methods while applying the Kappa Coefficient. To differentiate between groups, Student's t-test was used for independent samples. We sought to investigate the instrument indexes using the Receiver Operating Characteristic Curve statistics to obtain values for area, cut-off point, sensitivity, specificity, accuracy, and positive and negative predictive value. Results The instrument showed agreement and significant differentiation between the classifications. As for the performance parameters, it shows a cut-off point for diagnosis with results equal to or greater than 96.17%, an excellent area under the curve, as well as satisfactory percentages for the other analyses investigated. Conclusion The data indicated evidence for the construct validity of the Phonological Assessment Instrument, presenting a useful and valid contribution to the arsenal of clinical assessment and research involving the diagnosis of Speech Sound Disorder and, with its accuracy result, contributed to the properties of performance of instruments used in Speech, Language and Hearing Sciences.

RESUMO Objetivo Investigar evidências de validade de construto para um Instrumento de Avaliação Fonológica para o Português Brasileiro, baseadas nos dados de diagnóstico gerados por sua própria aplicação a partir da análise contrastiva e do grau de severidade de fala. Método A amostra foi composta por dados de 176 crianças, com idades entre cinco até nove anos. Foram avaliadas pelo Instrumento de Avaliação Fonológica e classificadas em com transtorno fonológico ou em desenvolvimento fonológico típico, comparando tais resultados aos critérios para o transtorno no DSM-5. A busca por evidências da validade de construto contou com a concordância entre os dois métodos de avaliação, aplicando o Coeficiente Kappa. Para a diferenciação entre os grupos, utilizou-se o teste t de Student para amostras independentes. Buscou-se a investigação dos índices do instrumento pela estatística da Curva de Receiver Operating Characteristic para obter valores de área, ponto de corte, sensibilidade, especificidade, acurácia, valor preditivo positivo e negativo. Resultados O instrumento apresentou concordância e diferenciação significativa entre as classificações. Quanto aos parâmetros de desempenho, exibe ponto de corte para diagnóstico com resultados iguais ou maiores do que 96,17%, excelente valor de área sob a curva, assim como percentuais satisfatórios para as outras análises investigadas. Conclusão O conjunto de dados encontrados indicam evidências para validade de construto do Instrumento de Avaliação Fonológica, apresentando uma contribuição útil e válida ao arsenal de avaliação clínica e de pesquisa envolvendo diagnóstico de Transtorno Fonológico e, com seu resultado de acurácia, contribuiu as propriedades de desempenho dos instrumentos utilizados na Fonoaudiologia.